Q1:PD分离场景Router会有区别吗?是有两个Router还是?怎么管理的
是两个router,具体分发在prefill节点的prefill_req_frozen_tokens_and_put_to_kvmove_taskqueue
Q2:Info Queue和Mem Queue传输什么数据
Q3:shm_req_manager是做什么的
Q4:decode_infer_rpyc.py的dp_world_size是什么?为什么说多DP单卡。
是不是world size是指dp内部
decode节点的decode